Mohammed Abdul Karim sinh ra trong một gia đình Hồi giáo tại Lalitpur gần Jhansi năm 1863.[3] Cha của ông, Haji Mohammed Waziruddin, là một phụ tá bệnh viện ở Central India Horse, một trung đoàn kỵ binh Anh.[4] Karim có một anh trai, Abdul Aziz và bốn em gái. Ông được học tiếng Ba Tư và tiếng Urdu[5] và đã đi ngang qua Bắc Ấn Độ đến Afghanistan khi còn là một thiếu niên.[6] Cha của Karim đã tham gia vào cuộc tuần hành mang tính quyết định tới Kandahar kết thúc Chiến tranh Anh-Afghanistan lần thứ hai vào tháng 8 năm 1880. Hậu chiến tranh, cha của Karim chuyển từ Central India Horse đến một vị trí tại trại giam Trung tâm ở Agra, lúc này Karim làm việc như một vakil ("người quản lý" hoặc "người đại diện") cho Nawab của Jaora. Sau ba năm ở Agar, Karim bỏ việc và chuyển đến Agra, trở thành một thư ký bản địa tại trại giam. Cha ông đã sắp xếp cuộc hôn nhân giữa Karim với em gái của một người đồng nghiệp.[7]

Các tù nhân trong trại giam Agra được đào tạo làm thợ dệt thảm như một phần của việc cải tạo. Năm 1886, 34 tù nhân đã tới London để biểu diễn cách dệt thảm tại Triển lãm Thuộc địa và Ấn Độ ở miền Nam Kensington. Karim đã không đi cùng các tù nhân, nhưng đã hỗ trợ viên quản ngục John Tyler trong việc tổ chức chuyến đi cũng như giúp chọn thảm và thợ dệt. Khi Nữ vương Victoria đến xem triển lãm, Tyler đã dâng lên bà một món tặng phẩm gồm hai chiếc vòng tay bằng vàng được chọn bởi Karim.[8] Nữ vương rất quan tâm đến các lãnh thổ Ấn Độ của mình và có ý muốn thuê một số người hầu Ấn Độ cho năm Lễ Kỷ niệm Vàng của mình. Bà lệnh cho Tyler tìm cho mình hai người hầu làm việc trong một năm.[9] Karim nhanh chóng được huấn luyện cách cư xử của người Anh, học tiếng Anh và được đưa đến Anh sau đó cùng với Mohammed Buksh. Thiếu tướng Thomas Dennehy, người sắp được bổ nhiệm vào làm việc cho vương thất, trước đây đã từng thuê Buksh làm người hầu cho mình.[10] Theo kế hoạch, Karim và Buksh sẽ làm người hầu bàn và học làm một số công việc khác.[11]